Ông sinh ra và lớn lên ở Chợ Lớn, Việt Nam, với tên khai sinh là Từ Văn Quang, trong một gia đình cha mẹ là người Hoa nhập cư có 16 người con.[2] Ngay từ nhỏ, cậu bé Quang đã yêu thích biểu diễn và điện ảnh; lúc lên 10 tuổi, ông và một vài người bạn thuê một camera 8 mm để đến trường quay biểu diễn ảo thuật tại trường học. Ông cũng vẽ các cuốn sách truyện tranh, một sở thích ảnh hưởng đến phong cách điện ảnh của ông sau này. Những anh hùng của Trung Quốc như Lưu Vĩnh Phúc, Hoàng Phi Hồng và huyền thoại về danh tướng của Việt Nam là Trần Hưng Đạo đã ảnh hưởng sâu sắc đến ông.

Năm 13 tuổi, ông chuyển qua sống ở Hồng Kông[3] và học ở đó, sau đó ông học điện ảnh ở Texas, đầu tiên tại Đại học Giám lý phía Nam và sau đó là tại Đại học Texas tại Austin và đã tốt nghiệp năm 1975. Ông chia sẻ rằng mình đã nói với cha mẹ anh muốn noi gương cha mình theo nghề dược sĩ, và rằng tại thời điểm này ông đã đổi tên gọi của mình thành Khắc (trong chữ "khắc phục", tiếng Anh là Hark).

Sau khi tốt nghiệp, ông đã đến New York City và làm việc trong quá trình sản xuất From Spikes to Spindles (1976), một bộ phim tài liệu của Christine Choy về lịch sử của Phố Tàu ở New York. Ông cũng làm biên tập một tờ báo Trung Quốc, phát triển một nhóm hát cộng đồng và làm việc trong một hãng truyền hình cáp tiếng Hoa. Ông trở về Hồng Kông năm 1977.